在人工智能领域，序列建模将关注点从静态快照 转向 时间流。标准机器学习任务通常假设 数据点是 独立同分布（IID），意味着样本的顺序 不会影响结果。

序列建模明确摒弃了这一假设，聚焦于三大核心支柱：

• 违反 置换不变性：在表格数据中， 列的顺序是任意的。而在序列中，顺序是首要特征。将“猫吃了老鼠” 交换为“老鼠吃了猫”从根本上改变了 语义真实值 尽管两者包含相同的词元。
• 自回归 特性：我们假设在时刻 $t$ 的 观测在数学上取决于其历史（$t-1, t-2, \dots, 1$）。 这需要转移概率来捕捉信息的演化方式。
• 变长映射：与固定的 28x28 像素网格不同，句子或 地震波等序列是 弹性的。模型必须使用一致的参数处理长度为 $N$ 的输入，并产生 长度为 $M$ 的输出。